Viên Di quê ở huyện Nhữ Dương, quận Nhữ Nam, Dự Châu[2]. Viên Di thuộc sĩ tộc Nhữ Nam Viên thị, là anh họ của Viên Thiệu, Viên Thuật, về sau đều là quân phiệt cuối thời Đông Hán.[3]

Viên Di ban đầu giữ chức huyện lệnh huyện Trường An, được người người Hà Gian là Trương Siêu[4] tiến cử cho Chu Tuấn,[5] khen Di: Có cái ý xuất chúng, cái lượng trị thế. Bản thân trung thành chính trực, lòng như trời rộng; từng đọc bao la sách vở, biết quản lý trăm họ, nhìn cao mà trông xa, thấy vật biết tên; nay được kẻ này, khác nào tăng thọ.[3][6]

Viên Di nhận chức thái thú quận Sơn Dương, làm quan lớn nhưng vẫn theo đuổi học nghiệp. Tào Tháo về sau từng khen ngợi Viên Di để tâng bốc bản thân, được chép trong Điển luận của Tào Phi: Kẻ lớn tuổi mà vẫn miệt mài học tập, chỉ có ta và Viên Bá Nghiệp mà thôi.[3]

Năm 190, Viên Di cùng Hậu tướng quân Viên Thuật, Ký Châu mục Hàn Phức, thứ sử Dự Châu Khổng Trụ, thứ sử Duyện Châu Lưu Đại, thái thú Hà Nội Vương Khuông, thái thú Bột Hải Viên Thiệu, thái thú Trần Lưu Trương Mạc, thái thú Đông quận Kiều Mạo, Tế Bắc tướng Bào Tín tiến hành hội minh thảo phạt Đổng Trác. Viên Di dẫn quân từ Sơn Dương đến đóng quân ở Toan Tảo.[3]

Năm 191, Đổng Trác đốt bỏ Lạc Dương lui về Trường An. Liên minh chư hầu tan rã, sát phạt lẫn nhau. Anh em Thiệu, Thuật trở mặt, Viên Di nghe theo lệnh của Viên Thiệu.[7]

Năm 192, thứ sử Dương Châu Trần Ôn bị Viên Thuật giết chết, Viên Thiệu tiến cử Viên Di làm thứ sử. Di bị Thuật đem quân đón đánh, thua trận, bỏ chạy đến đất Bái thì bị người giết hại. Thuật lấy Trần Vũ làm thứ sử Dương Châu, đóng ở Thọ Xuân.[7]